Năm 1950, vợ của Yamauchi, Michiko, sinh con đầu lòng, một cô con gái tên là Yōko. Trong vài năm sau đó, Michiko bị sảy thai vài lần và thường xuyên đau ốm. Năm 1957, bà sinh thêm một cô con gái, Fujiko và ngay sau đó là một cậu con trai tên là Katsuhito.

Khi cha của Yamauchi, Shikanojō, trở lại nhiều năm sau đó để gặp con trai mình, Yamauchi từ chối nói chuyện với ông. Khi Yamauchi gần 30 tuổi, người chị cùng cha khác mẹ của ông liên lạc với ông và thông báo rằng Shikanojō đã chết vì đột quỵ. Tại đám tang, ông gặp vợ của cha mình và 4 cô con gái của họ mà ông chưa từng biết mặt. Ông bắt đầu cảm thấy hối tiếc vì đã không tận dụng cơ hội để hòa giải với cha mình khi ông vẫn còn sống. Cái chết của cha đã thay đổi Yamauchi, ông đau buồn trong nhiều tháng và khóc rất nhiều. Kể từ đó, ông thường xuyên đến thăm mộ cha mình.[20]

Yamauchi được mô tả là một người đàn ông nghiêm khắc và chỉ tập trung vào công việc kinh doanh.[6] Ông không chơi trò chơi điện tử; sở thích nghiêm túc duy nhất của ông là chơi cờ vây, dù Uemura Masayuki, kỹ sư chính của NES phiên bản gốc, đã tuyên bố rằng ông cũng rất thích hanafuda và sẽ chơi bài với các nhân viên Nintendo tại những buổi tiệc[21]. Ông được xếp hạng thứ bảy dan ở môn cờ vây, tương đương với một kiện tướng cờ vua phương Tây.